iT邦幫忙

2024 iThome 鐵人賽

DAY 18
0

等待了一個晚上,基本上就 Fine Tune 好了。

部署 Fine Tune 好的模型

  1. 我們可以到 Azure ML 的 Models 裡看到已經 Fine Tune 好的 model 了,如下圖所示。我們直接點擊進去。
    生成式 AI 時代下的 Azure Machine Learning 教學圖文

  2. 接著,如下圖所示,我們點擊 Deploy,然後再點擊 Continue to deploy。

生成式 AI 時代下的 Azure Machine Learning 教學圖文

  1. 接著會跳出來取名字的畫面,這裡的長度會超過,我們就縮短一點。

生成式 AI 時代下的 Azure Machine Learning 教學圖文

  1. 接著來就會進到部署的畫面了,這裡也會等待上一段不小的時間,我們就等待一下吧!如下圖所示。

生成式 AI 時代下的 Azure Machine Learning 教學圖文

使用 Fine Tune 好的模型

等待 Fine Tune 的模型部署好了之後,我們就看可以看到畫面中有 endpoint 和 key 了。如下圖所示。

生成式 AI 時代下的 Azure Machine Learning 教學圖文

接著,我們就用 cURL 來呼叫吧!

curl -X POST https://Meta-Llama-3-1-8B-Finetune.westus3.models.ai.azure.com/chat/completions \
-H "Authorization: Bearer xx" \
-H "Content-Type: application/json" \
-d '{
    "messages": [
        {
            "role": "system",
            "content": "你是一個電子元件設計專家,能夠幫助用戶了解各種電子元件,包括其規格、應用和設計建議。"
        },
        {
            "role": "user",
            "content": "請問MicroBoard MB1000的資訊"
        }
    ]
}'   

會得到類似如下的答案

MicroBoard MB1000是一款高性能的微控制器板,我推薦使用 **MicroChip MC1000 MCU**,具備豐富的輸入輸出口和多個中繼器,適合物聯網和智能硬件設計。我建議使用 **PowerBridge PB1000** 供電模組,提供穩定的電源供給,同時具備多重保護功能,適合MB1000的應用。

感覺==真的有把我們推薦產品的回答特性給 fine tune 進去了==,除了介紹 MB 1000 之外,還推薦了產品 MC 1000 和 PB 1000。

但是, MC 1000 和 PB 1000 都不在我的資料集裡,那是幻覺……。

明天開始我們來談現在解決 Chat Completion model 幻覺的手法,RAG!


上一篇
Day17-在 Azure Machine Learning 裡 Fine Tune Llama 3.1
下一篇
Day19-淺談 Retrieval-Augmented Generation (RAG) 的手法
系列文
生成式 AI 時代下的 Azure Machine Learning30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言